（TODO コード確認）CyberAgent社の日本語LLM OpenCALMの対話モデル用途のfinetune検証

open-calm-7bをInstruction Tuned LLMにする例

instructionデータセットとは何らかのリクエストとそれに対する望ましいレスポンスをペアにしたもので、このようなデータで学習するとモデルの出力を望ましい方向に誘導できます。

学習の際にはparameter efficient finetune手法であるLoRAを使いました。

コードはalpaca-loraをベースに弊社でリファクタしたもの（ハイパラを触りやすくした程度の改変です）を使いました。

コードがある！！

モデルがGPT-NeoXベースであるため、LoRAのターゲットは query_key_value です。

検証結果を見ると、会話できている！

富士山はWikipediaのテキストを丸々返してしまっている